Câu lạc bộ được thành lập năm 1886 với tên gọi Câu lạc bộ bóng đá Argyle, trận đấu đầu tiên diễn ra vào ngày 16 tháng 10 năm 1886.

Câu lạc bộ đã bị giải tán năm 1894, trước khi được hồi sinh vào năm 1897 như một phần của câu lạc bộ thể thao tổng hợp, Argyle Athletic Club.[5] Câu lạc bộ gia nhập Southern League, ở cấp độ 3, năm 1903 trở nên chuyên nghiệp. Argyle vô địch Southern League vào mùa giải 1912-13, sau đó vào mùa giải 1920-21 vào Football League Third Division với tư cách là thành viên sáng lập, cùng với hầu hết Southern League, nơi họ đứng thứ 11 trong mùa giải đầu tiên.

Từ mùa giải 1921-22 đến 1926-27, Argyle về nhì ở giải Third Division South mới sáu mùa liên tiếp, do đó không được thăng hạng. Argyle cuối cùng đã giành được quyền thăng hạng lên Football League Division Two trong mùa giải 1929-30, với số khán giả mùa giải đó thường xuyên đạt 20.000. Huấn luyện viên Bob Jack từ chức vào năm 1937, đã dành tổng cộng 27 năm để phụ trách The Pilgrims.

20 năm ở lại Division Two của Argyle đã kết thúc vào mùa giải 1949-50 sau khi kết thúc ở vị trí thứ 21 - cách nhóm trụ hạng hai điểm. Đội đã trở lại Division Two trước đó không lâu, sau khi vô địch Third Division South mùa giải 1951-52. Lần gần nhất đội thi đấu ở Football League First Division (hạng cao nhất) là vào mùa giải 1952-53, khi đạt vị trí thứ tư trong Football League Second Division, thành tích cao nhất của đội bóng cho đến nay. Đội lại xuống hạng vào 1955-56, chỉ kém Notts County 3 điểm. Danh tiếng của Pilgrim như một 'câu lạc bộ yo-yo' tiếp tục sau khi vô địch Division Three - sau đó là giải đấu quốc gia - vào mùa giải 1958-59. Argyle trở lại Division Three sau khi xuống hạng vào mùa giải 1967-68.

Sau sáu năm ở Division Three, Argyle cuối cùng đã trở lại Division Two mùa giải 1974-75, nhưng lại quay trở lại vào mùa giải 1976-77.

Kể từ đó, đội đã dao động giữa hạng 2 và hạng 3, trước khi bị xuống hạng kép vào mùa giải 2010-11. Điều đó trực tiếp là do câu lạc bộ đã bị tuyên bố vỡ nợ, sau đó họ bị trừ 10 điểm cần thiết để tồn tại. Câu lạc bộ đã trở lại hạng 3 sau khi về nhì mùa 2016-17.

Vào ngày 14 tháng 8 năm 2018, có thông báo rằng cổ đông Simon Hallett đã mua một phần cổ phần của James Brent trong câu lạc bộ và đã trở thành cổ đông và chủ sở hữu đa số mới, và giám đốc cũ, David Felwick, trở lại câu lạc bộ với tư cách chủ tịch khi Brent từ chức vào ngày 31 tháng 10 năm 2018.[6] Tuy nhiên, vào ngày 10 tháng 10 năm 2018, có thông tin cho rằng David Felwick không thể đảm nhiệm vị trí chủ tịch, với lý do cá nhân, vì vậy vào ngày 1 tháng 11 năm 2018, Hallett trở thành chủ sở hữu đa số và chủ tịch của Plymouth Argyle.[7]